想像してみてほしい。自分には子供があり、その1人は高校生で、大学入学試験を受けるとする。1年のある時期に試験日が集中することや、試験科目に何が含まれるかを知っており、さらに辛抱強く待っていれば、もっと詳しい内容も分かるようになると知らされる。たとえ試験問題の詳細まで正確に知らないとしても、生徒が勤勉であれば家にこもり、準備のために一生懸命に勉強するに違いない。

しかし、間近になって試験が予定されていることを非公式に知るが、詳細は不明であるなら、ストレスとフラストレーションが続き、生徒は試験のことばかり考えるようになってしまう。

試験が終わってみると、一部の生徒には試験前に出題内容に関する連絡があったことが分かる。さらに、一部の生徒を支援するために、特定の機器を持ち込むことが許されていた。ほかにも、試験の後、その同じ生徒には結果を伝え、最終得点を上げるために間違えた問題の採点を交渉する機会も与えられていた。

自分の子供がそういう目に遭えば、驚きや怒りがわき、子供が耐えた不公平なプロセスに反対する可能性が高いのではないだろうか。もしも、子供の合否について、大学がこの試験結果を使用して決定した場合、それは公正とは言えないはずだ。

ウイルス対策ソフト業界、そして、その、サイバー犯罪者の攻撃を検出してシステムに害を与えないようにする努力は、業界外から見ている人々にとっては、しばしば怪しげに映るようである。そして、これが、製品の有効性をテストすることの重要な理由となっている。その結果に基づいて、専門家でなくとも、ある製品がしっかりと機能しているかどうかを判断できるからである。

しかしテストは、テスト機関の実績とモラルがあって初めて納得のできるものとなるが、なかには、十分に公正さを保っていないこともあり得る。例えば、テストが疑問のある方法で行われた場合や、テスト担当者と特別な関係を持つベンダーが参加者に含まれている場合、そして、一部のベンダーのみが自社の製品を最適化することを許されている場合、または、悪い結果が出ると、結果を問題視して変えることができる場合である。

長い間セキュリティ業界はこの問題に取り組んできた。テスト機関とベンダーの両サイドを集めて対話の場をつくることを目的として、2008年には「アンチマルウェアテスト標準化機構」（AMTSO）が設立された。AMTSOの目的は、そうした対話の場を提供し、標準と最良の事例を定め、テストに関する教育の機会を提供し、標準ベースのテストを支援するためのツールとリソースを作成することだった。

AMTSOは標準化の作成において、2017年12月にテスト機関、ベンダー、学者で構成されたメンバーによって合意された草案を発表した。AMTSOのテスト機関のメンバーは、ここでまとめられた標準化案を順守してテストを実施しなければならない。全てのテストは、組織のメンバーが作り、一部のテスト機関は、すでにこの草案に基づいてテストを実行している。

どのようなテストを実施するにせよ、AMTSOに公式に準拠していなくても、公正な条件で試験を実施する必要がある。例えば、もしあるベンダーに最終結果を最適化するように製品を設定する機会が与えられたり、または、テスト中に他のベンダーにはない特権的なアクセスが許されるようなことがあれば、全てのベンダーに同じ権利が与えられるべきである。公平にテストが実施されなかった場合、誰が利益を得ているのか、そして、さらにより重要なのは、誰が利益を得なかったのか、明確にすべきである。

さらに疑わしい慣習もある。一部のベンダーがグループテストの直前にテストを受ける場合である。これは次のテスト結果に記載する必要があるだろう。テスト方法が公開されているシナリオを想像してみてほしい。実際のテストが実行されると、テストに合わせて検出が最適化されている可能性があるが、これは製品の購入者が通常の使用状態で見ることができる結果を反映していない。

テストが実施された後、通常、ベンダーに結果を検証する機会が与えられる。つまり、マルウェアの検出漏れや誤検知に同意するかどうかを決定する。テスト機関の中にはこの後の段階でテストを収益化する場合もある。すなわち、結果を検証するには支払いが発生することがある。さらに、テスト機関によっては、特定のベンダーのみがテスト結果を検証できるようにすることもある。そうすると、製品を公正に正確に比較することができないテスト結果が生まれることになる。

最高セキュリティ責任者（CSO）がウイルス対策ソフトの有効性を示すレポートを取得すると、そのままグラフに検出されたマルウェアの割合を添えて表記されているのは当然である。一方、ベンダーのマーケティングチームメンバーがテスト結果を使用するときは、グラフのみを示すことだろう。テスト機関名が隠れてしまえば、報告書に詳しく書かれている、他のベンダーが参加した条件の、不一致については読まれなかったり、検討されなかったりすることになる。

テストレポートを使用して、どの対策ソフトを選択するかを決定する場合は、テストの背後にある方法論、商業的関係、モラルを考慮する必要がある。この情報をレポートから収集できない場合は、テスト機関に連絡して説明を求めるべきである。

公平な場でテストが行われ、参加する全てのチームに同じ条件、機会が与えられることが重要である。もしもそうでないのであれば、結果は特権が与えられたベンダーのために偏ってしまう。そうなると、結果を利用することは永遠になくなってしまうことだろう。